Los algoritmos, escribió O’Neil, “son opiniones encerradas en matemáticas”. La científica de datos repasa en su libro cómo el uso de algoritmos reproduce los sesgos de sus creadores en sectores tan críticos para la vida como la concesión de seguros o de becas universitarias, la justicia, la selección de personal o hasta en el funcionamiento democrático. Los algoritmos no son machistas, racistas ni clasistas, pero las decisiones que toman sus desarrolladores pueden hacer que el resultado lo sea. Conclusión: quienes salen más perjudicados son los menos pudientes.
Eso mismo es lo que O’Neil cree que puede pasar con el lanzamiento de aplicaciones móviles para controlar los contagios en la crisis del coronavirus. Su aparente éxito en algunos países asiáticos ha llevado a muchos otros, entre ellos España o Estados Unidos, a buscar una versión que se adapte a los estándares de privacidad occidentales. O’Neil nos cuenta por videollamada desde su confinamiento en Nueva York que se muestra escéptica sobre su efectividad.
Trayectoria
Vive en Nueva York, aunque el éxito de su libro y su blog (mathbabe.org) la han convertido en conferenciante internacional.
Graduada en Berkeley y doctorada en Harvard, O’Neil trabajó como investigadora en el MIT y el Barnard College hasta que dio el salto a la industria financiera. Duró cuatro años: de ahí pasó a involucrarse en el movimiento Occupy Wall Street y a asesorar startups. Más recientemente ha montado su propia consultora de auditoría algorítmica (Orcaa.
¿Por qué cree que fracasarán las apps que tratan de rastrear los contagios de la covid-19?
Dependen de bluetooth, y esa tecnología solo la tienen los smartphones. Por tanto, quienes no tengan móviles, como los presos, la gente mayor o los sin techo, no serán visibles por el sistema. Y quienes no tengan un incentivo para usar la app, como los inmigrantes irregulares, que temen ser deportados, y los que no puedan permitirse quedarse en casa sin trabajar, no lo harán. Luego están los que tienen móvil y papeles, pero no un seguro médico con el que costearse el tratamiento. Los colectivos que acabo de mencionar coinciden casi a la perfección con la población que corre mayor riesgo de infección. ¿Puede la app rastrear los contagios si los más vulnerables quedan fuera de su campo de visión? No.
Imagine que todo el mundo tuviera un smartphone y conexión. ¿Funcionaría entonces?
Si la app siguiera siendo de uso voluntario, tendríamos el mismo problema: buena parte de la población de mayor riesgo optaría por no usarla. En caso de que no fuera de carácter voluntario, como el sistema chino de vigilancia al que llaman de crédito social, funcionaría mejor, pero sería opresor para la gente.
¿Hay alguna forma de hacer que estas apps sean efectivas?
El propio presidente de Singapur desmontó la historia de éxito que se ha construido en torno a la app de su país. Dijo en la televisión que la clave para contener la pandemia no fue la app, sino las entrevistas realizadas a la población que había dado positivo para saber con quién habían tenido contacto, y luego la búsqueda de esas personas. El teléfono ayudó en Singapur, pero no gracias a la inteligencia artificial, sino a un ejército de funcionarios. Dar bajas laborales pagadas a los infectados y costear los tests y los tratamientos también fue positivo, claro.
Google, Facebook y Amazon tienen sus propias iniciativas que recogen cantidades masivas de datos acerca de cómo aprenden los niños."
¿Qué opina del digital contact tracing, la tecnología en que se apoyan estas apps? ¿Hay forma de que respeten la privacidad?
Supongo que la pregunta del millón es si se puede separar el concepto de opcionalidad del de privacidad. Siempre que se habla de respeto a la privacidad se sobreentiende que la app es de uso optativo, pero eso no es suficiente para contener una pandemia: supondría dar por sentado que todo el mundo va a colaborar y quedarse en cuarentena voluntaria si así se lo piden, aunque ello choque con sus intereses. ¿Podría ser obligatoria pero respetar la privacidad? Es un escenario difícil de imaginar.
No confía mucho en la gente.
¿Cree que todo el mundo hará cuarentena de forma voluntaria cuando una app se lo diga? Porque si solo colabora una parte de la población, la cuarentena no sirve de nada. No sé en Europa, pero en EE UU no funcionaría porque la mitad de los ciudadanos creería que su libertad está siendo violada y la otra necesitaría seguir trabajando y no se podría permitir hacer cuarentena.
Han pasado cuatro años desde que publicó su libro. ¿Cambiaría algo si lo escribiera ahora?
Los ejemplos seguramente serían distintos. También añadiría un capítulo que no escribí sobre cómo se están recolectando datos de los niños. Entonces, en 2015, me fue imposible obtener información al respecto. Pero ahora veo que Google, Facebook y Amazon, los imperios del dato, tienen sus propias iniciativas de educación que recogen cantidades masivas de información acerca de cómo aprenden los niños. Eso hay que investigarlo en profundidad.
No tengo ninguna prueba de que hayan hecho nada ilegal, pero mi intuición es que ahí hay montones de armas de destrucción matemática [llama así a los algoritmos opacos que causan daños a gran escala a parte de la población]. La creciente virtualización de la sociedad como consecuencia de la crisis del coronavirus puede inaugurar una era dorada para los recolectores de datos en general, pero más especialmente para quienes buscan datos de niños. Y lo que puedan hacer luego con ello es realmente aterrador.
Cathy O’Neil es matemática, científica de datos y activista. Carlos Rosillo
Ha mencionado antes el sistema chino de crédito social. ¿Imagina algo parecido en Europa o EE UU?
¡Ya lo tenemos, solo que no lo admitimos! Estamos vigilados en todos los sentidos. En China han sido transparentes: tienen una herramienta explícitamente creada para el control social. En EE UU hay que ser más sutil: solo puedes ir contra quienes no tienen poder, es decir, los negros y los pobres; en cuanto al resto, el marketing le da al sistema la apariencia de algo que debemos valorar. La vigilancia digital no se usa en EE UU del mismo modo que en China, pero tiene un efecto increíble: no solo rastrea a la gente y anticipa lo que va a hacer, sino que también les impide hacer cosas.
En EE UU esa vigilancia la realizan empresas privadas con fines comerciales, pero en China la centraliza el Gobierno.
En China hay una constelación de empresas que hacen el trabajo, aunque es cierto que luego Pekín las controla. La gran diferencia en realidad es que los gobiernos occidentales no dicen explícitamente que nos están vigilando y para qué, pero están implícitamente dejando que suceda y beneficiándose de lo que hacen las empresas comerciales.
La NSA accede a los perfiles de Acxiom de cualquier persona del país que gaste dinero. El hecho de que esos perfiles existan, estén a la venta y sean cada vez más y más completos beneficia a las campañas políticas, a las agencias de inteligencia… a todo el que quiere ejercer control. No hay contrapesos: las leyes de privacidad en EE UU son extremadamente pobres y solo se refieren a datos muy concretos, como los médicos. La cuestión es que con el big data y la inteligencia artificial ya se puede saber si estás enfermo, no hace falta conocer tu historial médico: tu consumo revela si eres diabético o tienes cáncer.
¿Cree que la app del coronavirus se sumaría a este entramado de vigilancia?
Exactamente. Puedes inferir el partido político con el que simpatiza cualquiera estudiando con quién y cómo interactúa su perfil de Facebook. Pero no puedes hacer ese tipo de análisis para saber si alguien está infectado de coronavirus. Así que desde el punto de vista de la vigilancia estamos ante una nueva base de datos. Por eso en este momento no funcionan las técnicas de inteligencia artificial.